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ПРОГРАММНЫЕ ПАКЕТЫ ОБЕСПЕЧЕНИЯ ПАРАЛЛЕЛЬНЫХ ВЫЧИСЛЕНИЙ 


Развитие технологий СПА подошло к фазе реализации проектов, направленных на развертывание крупных 
действующих инфраструктур. Использование их на практике поставило не только новые задачи, но и вызва- 
ло необходимость в оценке подходов, которые были разработаны и успешно применялись в пробных экспе- 
риментах. Одной из главной составляющей таких инфраструктур является программное обеспечение, кото- 
рое рассмотрено в данной статье. 

Ключевые слова: С/С, ресурсная архитектура, кластер, безопасность, диспетчеризация. 


Введение. В последние годы за рубежом и в нашей стране активно ведутся работы, связанные с 
объединением глобальных вычислительных ресурсов в единую распределенную систему вычисле- 
ний, хранения и передачи информации. Такая система (Спа) обеспечивает доступ пользователей 
к миллионам географически распределенных компьютерных ресурсов. 

В настоящее время уже создана техническая база (телекоммуникационные сети 

большой пропускной способности) и сделаны шаги по созданию программного обеспечения для 
работы в среде Спа. Созданы такие программные пакеты, как СоБиз ТооКИ, АВС- Спа, Ватабпа, 
ИМСОВЕ Спа, которые предлагают базовые средства для создания СИа-инфраструктуры: средст- 
ва обеспечения безопасности в распределенной среде, средства надежной передачи больших 
объемов данных, средства запуска и получения результатов выполнения задач на удаленных вы- 
числительных ресурсах. 
Задачи исследования. Перед тем, как мы перейдём к рассмотрению и сравнению данных про- 
граммных проектов, дадим определение понятия «дпа-система». Ссиа (вычислительная решётка) - 
это распределенная информационно-вычислительная среда, построенная на основе Всемирной 
паутины (\/опа \МЛае\\№еь), которая обеспечивает масштабируемые, безопасные, быстродействую- 
щие механизмы для обнаружения и доступа к удаленным вычислительным и информационным 
ресурсам [1]. 

В отличие от кластерных систем, которые являются частным случаем дима, мировое сооб- 
щество исследователей и разработчиков д1а-систем рассматривают их как единое целое и не вы- 
членяют параметры классификации и не проводят самой классификации 914. Но если провести 
аналогии с кластерными системами и проанализировать вопрос, то можно определить, что дан- 
ные системы можно разделить на следующие три типа [2]: 

1. СВТ на основе использования добровольно предоставляемого свободного ресурса пер- 
сональных компьютеров («добровольная» СКО); 

2. Научная СКО — хорошо распараллеливаемые приложения программируются специаль- 
ным образом (например, с использованием СоБи$ ТооКК); 

3. СОКР на основе выделения вычислительных ресурсов по требованию (Етегризе СКО 
или коммерческая СВТО); обычные коммерческие приложения работают на виртуальном компью- 
тере, который, в свою очередь, состоит из нескольких физических компьютеров, объединённых с 
помощью СВТО-технологий (кластер). 

Принципы функционирования Сиа-системы представлены на рис.1. 
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Рис.1. Принцип функционирования Сиа-систем 


Таким образом, к прикладным задачам, при решении которых можно использовать 
СВТЮ, относятся: 

- сложное моделирование; 

- совместная визуализация очень больших наборов научных данных; 

- распределенная обработка для анализа данных; 

- связь научного инструментария с удаленными компьютерами и архивами данных. 

Наиболее эффективно применение распределённых вычислительных систем для решения 
следующих задач: 

- распределенные высокопроизводительные вычисления, решение очень больших задач, 
требующих максимальных процессорных ресурсов, памяти и т.д.; 

- «высокопоточные» вычисления, позволяющие организовать эффективное использование 
ресурсов для небольших задач, утилизируя временно простаивающие компьютерные 
ресурсы; 

- проведение крупных разовых расчетов; 

- вычисления с привлечением больших объемов распределенных данных, например, в ме- 
теорологии, астрономии, физике высоких энергий; 
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- коллективные вычисления: одновременная работа нескольких взаимодействующих поль- 
зователей. 
На рис.2 показан пример вычислительной Сид-сети. 
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Рис.2. Пример вычислительной СИ@-сети 


Обзор существующих пакетов биа-систем. Разрабатываемые в настоящее время программ- 
ные системы делятся на два основных типа: свободно распространяемые и системы коммерческо- 
го типа. Проведём сравнительный анализ программных пакетов Сид-систем этих типов. 

С развитием технологии Сиа-систем стали появляться не отдельные ПО, а программные 
платформы, то есть взаимосогласованные наборы средств. Данные платформы со значительно 
большей полнотой по сравнению с пакетами ПО поддерживают развертывание и обслуживание 
СиИа, а также организуют его функционирование как единой операционной среды. Характерные 
отличия платформ проявляются в том, что в них в рамках единой архитектуры начинают решать- 
ся задачи обеспечения надежности, детерминированности, качества обслуживания, управляемо- 
сти СНа с помощью механизмов планирования, мониторинга заданий и устройств, учета и прото- 
колирования. 

К складывающемуся классу платформ можно отнести два европейских комплекса средств: 
РааСма [3] и Утсоге [4]. Первый из этих комплексов, разработанный в течение 2000 - 2003 
годов, представляет для нас особый интерес, поскольку он становится стартовой программной 
базой проекта ЕСЕЕ, в котором принимает участие и ИПМ РАН. Рассмотрение ПО БабаСна позво- 
ляет сделать заключение, что оно способно обеспечить функционирование Си большого мас- 
штаба, но с определенными ограничениями по способу организации ресурсов и режиму их ис- 
пользования. 

Функциональные возможности. Ядро ПО РааСпа составляет система \\/М$ (\\МогКоаа 
МападетепЕ 5у$ет), в которую входят следующие основные компоненты: 

- Узег п{еНасе. Пользовательский интерфейс на основе языка 201; 

- Кезоигсе ВгоКег. Выполняет подбор ресурсов для исполнения запросов. 

- СопаогС. Выполняет удаленные операции по управлению заданиями на ресурсах. 

- 1099т9 апа ВооККеертд. Службы протоколирования событий, генерируемых компонен- 
тами \/М5 и учета использования ресурсов. 

- МуРгоху. Служба, поддерживающая обновление доверительных сертификатов, исполь- 
зуется для заданий с длительным выполнением. 

- Оаабпа Ассоипупда 5у$ет. Поддерживает экономические отношения между поставщи- 
ками и потребителями ресурсов. 

Как видно из этого списка, РаваСйа решает важнейшие для распределенной среды зада- 
чи, обеспечивая виртуализацию ресурсов, протоколирование, учет, поддержку отношений пре- 
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доставления/потребления ресурсов в рамках общей архитектуры взаимодействующих между со- 
бой служб. 

Обслуживаемый класс приложений. Основной класс — однопроцессорные вычислительные 
задания с большим временем счета. Поскольку в Ваёабиа помимо \\М5 интегрированы служба 
СИАЕТР и служба репликации файлов Верйса 1осаНоп 5ег\се, платформа способна обеспечивать 
работу с файлами большого объема. 

Характеристика ресурсов. ПакаСпА рассчитана на кластеризованные ресурсы с любыми систе- 
мами управления, с которыми имеет интерфейс СоБиз ТооКК. Способ выбора ресурсов для зада- 
ний основан на информации о количестве заданий в очередях кластерных систем управления и 
способен дать хорошие результаты при условии, что ресурсы функционируют в выделенном ре- 
жиме, то есть полностью отчуждаются от владельцев. Бабабиа использует информационную 
службу СоБиз ТооКЁ для распределенного мониторинга ресурсов. 

Надежность обработки. Гарантируется завершение обработки запущенных заданий. Монито- 
ринг задания и перезапуск в аварийных ситуациях осуществляется из точки запуска с помощью 
системы СопдогС. Имеется аппарат прикладных контрольных точек, однако, автоматический рес- 
тарт не поддерживается. 

Качество обслуживания. Способ планирования в Вайабпа не позволяет получить точную оцен- 
ку времени обработки заданий и тем самым качество обслуживания не регулируется. 
Масштабируемость. Распределение заданий производится по централизованной схеме, оценки 
производительности серверов пока отсутствуют. 

Платформа УМТСОВЕ имеет несколько особенностей, обусловленных тем, что с самого 
начала она предназначалась для обеспечения доступа к суперкомпьютерным центрам стран Цен- 
тральной Европы. Упсоге — одна из немногих оригинальных платформ, которая не использовала 
СоБи$ ТооКИ, и лишь в последнее время происходит трансформация ее протоколов в сторону 
общепризнанных для Спа. 

Унифицированный интерфейс с вычислительными ресурсами - Утсоге (УМИогт ГеГасе 
{о СОтрийпд КЕзочцгсез) предоставляет ученым и инженерам ресурсы суперкомпьютерных цен- 
тров, объединенных в Спа, и делает их доступными через Интернет. Среда Спа УМТСОВЕ поддер- 
живает высокий уровень безопасности, а аутентификация осуществляется совместимым между 
ресурсами и прозрачным для пользователей способом. Различия между платформами полностью 
скрыты, так что Упсоге можно рассматривать как портал, открывающий бесшовный дистанцион- 
ный доступ к суперкомпьютерам, компиляции и выполнению приложений и пересылке данных 
ввода-вывода. 

Выигрыш, который получает пользователь УМТСОВЕ, - однородный доступ к разного рода 
системам, а значит, и больше возможностей по получению ресурсов. Вычислительные центры, 
применяющие ИМТСОВЕ, смогут уменьшить количество документации для пользователей, а также 
более эффективно использовать свои вычислительные ресурсы. 

Главные компоненты УМТСОВЕ: 

- агент подготовки заданий (РА); 

- контроллер монитора заданий (3МС); 

- сервер ИИр$ ИМТСОВЕ, также называемый шлюзом (Са{емау); 

- супервизор сетевых заданий (№5); 

- графический интерфейс пользователя, основанный на Зауа-аплетах. 

Клиент УМТСОВЕ дает возможность потребителю создавать, представлять и управлять за- 
даниями с любой рабочей станции или персонального компьютера, подключенных к Тпегпе. 
Клиент соединяется с УМТСОВЕ через шлюз, который подтверждает подлинность клиента и поль- 
зователя перед контактированием с серверами УМТСОВЕ, которые, в свою очередь, управляют 
представленными УМТСОКЕ-заданиями. Задания, предназначенные для локальных компьютеров, 
выполняются на их пакетных подсистемах, те же, которые будут выполнены на удаленных узлах, 
передаются на просмотр шлюзу. Все необходимые передачи данных и синхронизации выполняют- 
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ся серверами. Серверы также сохраняют информацию о статусе и результатах работы, передавая 
их клиентам по запросу пользователя. Компоненты третьей стороны, такие как С!оБиз,могут быть 
интегрированы в структуру УМТСОВЕ для расширения его функциональности. 

Свободно распространяемая платформа АВС (А4уапсея Кезоигсе Соппесог) разработана 
для проекта стран северной Европы (МогаиСма) и ориентирована на поддержку приложений фи- 
зики высоких энергий (эксперименты ЁНС). 

Основные архитектурные решения АКС следуют общепринятым подходам построения 
Сиа. Используется организация ресурсов, аналогичная применяемой в ЕЦ РакаСпа. Узлами ин- 
фраструктуры служат кластеры, управляемые системами пакетной обработки, или отдельные 
компьютеры. Узлы комплектуются элементами памяти (Зюгаде Иетеп). 

АКС обеспечивает следующие функции: 

- информационная; 

- включение ресурсов в Спа и их мониторинг; 

- запуск и управление заданиями; 

- брокеринг (распределение заданий по ресурсам); 

- управление данными и ресурсами. 

Все функции реализованы в виде служб, которые опираются на известные программные 
средства с открытым кодом ОрепЕРАР, Ореп55Е и $А$(. Реализация выполнена с помощью биб- 
лиотек СоБиз ТооКИ 2 (СТ2), безопасность достигается путем использования протоколов и ин- 
фраструктурных решений С51. 

Отличительной особенностью МогдиСиа АВС является то, что хотя эта платформа и опи- 
рается на протоколы СТ2 и реализована посредством АРТ СТ2, в ней предложен собственный на- 
бор служб, заменяющий службы СТ2. АВС не использует СВАМ, утилиты управления заданиями, 
СаеКеерег и скрипты 3оБ-тападег, сервер \М/иЁр, схемы и информационные поставщики МО5. Для 
всего этого предложены собственные варианты: 

- Спа Мападег; 

- диайра (АВС/Могачсйа СпартР эегуег); 

- изег ТщеНасе; 

- Вгокег (“персональный” брокер, встроенный в пользовательский интерфейс); 

- система мониторинга. 

Кроме того, определена новая информационная схема и для нее разработаны поставщи- 
ки данных, расширен язык описания ресурсов (хК$(.). Таким образом, платформа АВС, хотя и по- 
строена на библиотеках СТ2, это совсем не СТ2, она имеет свой набор служб. 

На ресурсном узле работают следующие программы АВС: Спа Мападег Спара и инфор- 
мационные агенты. Служба Спа Мападег локально запускает задание и контролирует процесс вы- 
полнения. Служба СМаЙра осуществляет дистанционный прием заданий, создавая для каждого 
отдельный каталог на все время обработки. На узлах работают также поставщики информации о 
состоянии ресурсов, собирающие данные и передающие их индексным службам, которые пред- 
ставляют собой упрощенный вариант базы данных СТ2 СП$ и могут быть связаны в произволь- 
ную сетку: по связям происходит динамическое размножение информации. К индексным службам 
обращается пользовательский интерфейс (например, для выбора исполнительного узла) и Спа 
Мападег. 

Дистанционный запуск заданий производится посредством пользовательского интерфей- 
са (ОТ), который представляет собой набор команд для запуска, мониторинга и управления зада- 
ниями, а также перемещения файлов и опроса информации о состоянии ресурсов. В состав ЦТ 
входит Вгокег функция которого — подбор наиболее подходящего ресурса для задания. Другой 
специальный клиент - СПА Мопйог через любой \\/еб-браузер периодически «опрашивает» рас- 
пределенную информационную систему, представляя результаты в виде взаимосвязанных стра- 
НИЦ. 
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При разработке АВС преследовалась цель создания ПО для производства, используя в 
качестве основного принципа максимально полную децентрализацию, поэтому на каждом рабо- 
чем месте пользователя СПА устанавливается персональный брокер, независимо подбирающий 
ресурсы для запускаемых заданий. Этот подход отличен от централизованный схемы ЕЦ Ваабпа 
с единственным брокером на все рабочие места. 

Инструментарий с открытым кодом @1оБи$ Тоо!КИ: был разработан Калифорнийским уни- 
верситетом и Аргоннской национальной лабораторией при поддержке ведущих компаний США и 
Японии. Отдельно следует отметить вклад корпорации 1ВМ, которая участвует в проекте СоБи$ и 
выпускает свой инструментарий СВТО Тоофох, построенный на основе СоБи$ ТооКК. 

СоБиз ТооКИ — это инфраструктура стандартов и инструментов. Основным стандартом в 
рамках проекта СоБиз является ОСЗА (Ореп Сима 5егусез АгсИКесиге) - открытая архитектура 
вычислений учрежденческого уровня. Архитектура ОС5ЗА, созданная на концепциях и технологи- 
ях, разработанных специалистами в области СМА и \МеЬ-служб, определяет единую семантику 
представления служб, стандартные механизмы для создания, именования обнаружения экземпля- 
ров Сиа-служб, обеспечивает прозрачность местонахождения и связывания различных протоко- 
лов и поддерживает интеграцию с базовыми механизмами нижележащих платформ. Разработка 
технической спецификации ОС5А ведется в рамках форума Спа СоБа! Рогит. Пакет Соби$ ТооКИ 
доступен для загрузки из Интернет в виде исходных текстов или дистрибутивов. 1ВМ предостав- 
ляет СВО ТодБох в виде дистрибутивов, которые адаптированы под платформы р5епез, 75епез и 
хбейе$. Глобус (ТНе @оБиз ТооКИ"") основан на четырёх основных протоколах: 

- Уровень связи: 

защищённость: Сиа 5есигву ТпНа$гисиге (651). 

- Уровень ресурсов: 

управление ресурсами: Сна Везоигсе АПосаНоп Мападетепе (СКАМ). 

- Информационный сервис: Спа Везоигсе Тп®огтавоп Ргофосо! (СЕР). 

- Пересылка данных: Сима Ее Тгап$Гег Ргофосо| (СиаЕТР). 

Заслуживает внимания появление, наряду со свободно распространяемыми платформами, 
целого ряда коммерческих продуктов для глобально распределенных вычислений: ОСбма, 
НуеС!и$ег, Смамр, Егопиег, выпущенных соответственно компаниями Епгора, Ваабупарзе, 
Ипкед Бемкез и Рагабоп Сотрщайоп. Эти продукты квалифицируются производителями как 
платформы для Спа, и с этим, в общем, трудно не согласиться, поскольку они направлены на ре- 
шение задач Спа (обеспечение скоординированного доступа к глобально распределенным ресур- 
сам в рамках виртуальной организации) и поддерживают полный цикл обработки заданий в рас- 
пределенной инфраструктуре. 

Применяемый в коммерческих платформах подход имеет ряд особенностей. Прежде всего 
это касается организации ресурсной составляющей Спа. В платформах, основанных на СоБи$ 
Тосо!КК, узлы СПа являются многомашинными комплексами, которые находятся в автономном ад- 
министративном домене, связаны локальной сетью и управляются системой пакетной обработки, 
играющей роль менеджера ресурсов (МР). В коммерческих же платформах узлы могут быть эле- 
ментарными, то есть каждый узел - это компьютер, на который для подключения в Си устанав- 
ливается компактный агент, выполняющий функции запуска заданий, мониторинга, защиты и 
контактов с управляющим центром (Сиа-сервером). 

Различие в типах ресурсов сказывается на архитектуре поддерживаемых Спа. Коммерче- 
ские платформы можно назвать вертикально интегрированными из-за того, что в них узлы - гло- 
бально распределенные компьютеры -— недоступны для прямого запуска заданий, а интегрируют- 
ся через управляющий центр, который, с одной стороны, представляет собой точку доступа ко 
всем ресурсам, а, с другой, выполняет функции МР, управляя ресурсами и виртуализируя их. 
Можно провести аналогию вертикально интегрированного Спа с кластерной архитектурой, но со 
следующим важным отличием: обрабатывающие узлы могут быть глобально распределены и при- 
надлежать разным владельцам. 
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Физико-математические науки 








В коммерческих платформах предложен ряд новых программных решений, направленных 
на поддержку такого режима использования ресурсов, когда они не отчуждаются от владельцев. 
В этих условиях задачи Сима усложняются, так как ресурсная составляющая не является ни на- 
дежной (машины могут выключаться и перезагружаться), ни безопасной (посторонние лица могут 
иметь дистанционный или прямой доступ к машине), ни предсказуемой (в любой момент машина 
может быть полностью занята владельцем). В связи с этими проблемами разработаны специаль- 
ные методы. Безопасность, например, рассматривается в трех аспектах: защита владельца ресур- 
са, защита конфигурации машины, защита приложения Сна, и обеспечивается механизмами “изо- 
ляции” приложений в виртуальной исполнительной среде. 

Два вида платформ с вертикальной интеграцией (коммерческие платформы) и с горизон- 
тальной интеграцией на основе стандартов дистанционного взаимодействия в архитектуре Спа- 
служб ОСА, можно, наверное, рассматривать как несводимые альтернативы. Однако более про- 
дуктивным представляется взаимное сближение на основе как межплатформенной интеропера- 
бельности, так и интеграции конкретных механизмов и функций. Фактически сближение уже на- 
чалось, это проявляется, например, в том, что перечисленные выше компании-разработчики в той 
или иной степени принимали участие в подготовке стандарта ОСЗА и имеют планы перевести 
свои частные протоколы взаимодействия в архитектуру Сиа-служб. 


Характеристики программных пакетов 








Программные Характеристика 
пакеты 
Баёабиа Предоставляет конечному пользователю прозрачный доступ к пространственно рас- 


пределенным вычислительным ресурсам и хранилищам данных, организованным в 
виде независимых сайтов. Структура сайтов унифицирована. 

Ра{аСиа рассчитана на кластеризованные ресурсы с любыми системами управления, 
с которыми имеет интерфейс Собиз ТооКК. Способ выбора ресурсов для заданий 
основан на информации о количестве заданий в очередях кластерных систем управ- 
ления. 





СоБиз ТооКК Неготовое решение, это инфраструктура стандартов и инструментов. 
Обеспечивает прозрачность местонахождения и связывания различных протоколов и 
поддерживает интеграцию с базовыми механизмами нижележащих платформ 





АВС- Сма Узлами инфраструктуры служат кластеры, управляемые системами пакетной обра- 
ботки, или отдельные компьютеры. Узлы комплектуются элементами памяти. 
Использует в качестве основного принципа максимально полную децентрализацию, 
поэтому на каждом рабочем месте пользователя СПА устанавливается персональный 
брокер, независимо подбирающий ресурсы для запускаемых заданий. Этот подход 
отличен от централизованный схемы Ба{аСНА с единственным брокером на все рабо- 
чие места. 








ОМТСОВЕ Спа Единый и легкий в использовании графический интерфейс пользователя, открытая 
архитектура, основанная на понятии абстрактного задания, целостная архитектура 
защиты, минимальная зависимость от локальных административных процедур, экс- 
плуатация существующих и находящихся на стадии становления технологий, осно- 
ванных на стандарте Зама и \\№МеБ-технологиях. 
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Заключение. Большая часть программных систем для Спа, хотя и разрабатывалась различными 
коллективами, основывалась на стандартах СоБиз ТооКЁ (эволюционировавших в архитектуру 
Сиа-служб ОС5А), и вследствие этого они оказалась хорошо совместимыми друг с другом. Реали- 
зованный в С\оБиз ТооКИ механизм поддержки контекста безопасности, основанный на довери- 
тельной передаче прав доступа, рассчитан на произвольное количество шагов обработки зада- 
ния. Оправданность и предусмотрительность такого решения была доказана при реализации всех 
систем серверного обслуживания, основанных на СюБи$ ТооКК. 
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АЕ-КНОГАТОТ АВОУЕМАЗЕО АНМЕО 


ЗОРТМ/АВЕ РАСКАСЕ$ РОВ РАКАНЕЕ СОМРОТТМС 


Са деувортепЕ Па$ арргоаспе4 {Пе рпазе о! геайхайоп оЁ ргодес5 айте4 а{ дерюутепе оЕ {Пе Тагде- 
эсае орегайта ш#а$гискигез. Кеа!Ку оЁ ргасЧса! ипр!етеп(аНоп Ваз по опу БгочдНЕ т а мпое пем 
её ог {азК$, Биё або Четап4$ гееуамаНоп ог Че тео@$ {Па меге ргемоияу деуеюоре апа 
зиссезГиЙу {е$е ш рйоЁ ехрейтеп{. Опе оЁ {Пе тат сотропепЕ оЁ исп тНазхгисиге 15 {Пе 
эоймгаге сие т {5 асе. 
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